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摘要 

【 目的】 针对 现 有 的 多 标签 文本 情绪 分 类 算法 难以 建 模 和 利用 情绪 间 语 义 关联 性 的 问题 ， 
提出 一 种 基于 自 注 意 力 机 制 的 情绪 关联 性 建 模 的 多 标签 文本 情绪 分 类 方法 。【 方 法 】 本 
文 提出 基于 自 注 意 力 机 制 的 情绪 关联 性 建 模 的 多 标签 文本 情绪 分 类 神经 网 络 
CAttEmoNet)， 通 过 自 注 意 力 情绪 关联 模块 建 模 情绪 标签 自身 的 语义 及 相似 性 ， 并 使 用 
基于 大 规模 预 训练 模型 的 文本 编码 器 用 于 编码 输入 文本 为 语义 向 量 , 最 后 通过 神经 网 络 
计算 文本 语义 向 量 和 情绪 语义 向 量 的 匹配 度 ， 从 而 实现 更 加 精准 的 情绪 类 别 识别 。【 结 
果 】 通 过 在 NLPCC2014 和 GoEmotions 两 个 公开 数据 集 上 的 对 比 实验 验证 AttEmoNet 
的 有 效 性 。 结果 表明 , AttEmoNet 的 文本 情绪 分 类 性 能 相 比 于 基线 方法 Random、 cnsenti、 
SVM 和 BERT 均 有 显著 提升 。 相 比 于 现 有 最 优 基线 方法 ，AttEmoNet 的 分 类 精准 度 
Precision 最 高 提升 13.33%, 召回 率 Recall 最 高 提升 21.80%,F1 得 分 Fl-score 提 升 12.74% 。 
同时 AttEmoNet 建 模 的 情绪 语义 关联 矩阵 有 良好 的 可 解释 性 , 证 明 其 共有 较 好 的 建 模 情 
绪 语 义 的 能 力 。 【局 限 】 大 语言 模型 的 出 现 为 多 标签 文本 情绪 分 类 打开 了 全 新 的 思路 ， 
未 来 将 结合 AttEmoNet 与 大 语言 模型 各 自 的 优势 以 实现 更 加 精准 、 高 效 的 多 标签 文本 情 
绪 分 类 算法 。 【结论 】 本 文 提出 一 种 基于 自 注意 力 机 制 的 情绪 关联 性 建 模 的 多 标签 文本 
情绪 分 类 神经 网 络 , 提升 了 文本 情绪 模型 的 情绪 语义 及 其 关联 性 建 模 的 能 力 以 及 情绪 识 
别 的 性 能 ， 并 通过 在 两 个 公开 数据 集 上 的 对 比 实验 验证 了 研究 的 有 效 性 。 


1 引言 

文本 情绪 分 类 是 数据 挖掘 研究 中 的 一 项 重要 任务 ， 旨 在 使 用 数据 挖掘 技术 〈 如 朴素 
贝 叶 斯 算法 ;深度 神经 网 络 ) 从 给 定 文 本 中 发 现 其 情绪 倾向 ， 从 而 有 助 于 对 文本 内 容 及 
其 可 能 影响 的 深入 理解 。 现 如 今 ， 随 着 公共 社交 媒体 平台 如 微 博 、 推 符 的 兴起 ,文本 情 
绪 分 类 在 与 情 研判 、 社 会 热点 事件 奶 踪 等 领域 已 经 展现 出 重要 作用 。 相 关 工 作者 使 用 文 
本 情绪 分 类 算法 识别 海量 社交 媒体 平台 用 户 发 表 言 论 的 情绪 倾 昭 ， 从 而 综合 研判 与 情 


向 以 及 应 对 措施 。 文 本 情绪 分 类 技术 本 身 ， 也 从 传统 的 简单 二 分 类 任务 (判断 文本 情绪 
倾向 是 正 向 或 福 祥 ) 拓展 到 多 分 类 任务 ， 即 识别 文本 蕴含 的 具体 情绪 ， 如 开心 、 翡 伤 、 
喜欢 、 愤 把。 然而 ， 相 比 于 传统 的 二 分 类 文本 情绪 分 类 ， 多 标签 文本 情绪 分 类 任务 面临 
着 数据 稀 琉 、 类 别 不 均衡 、 情 绪 语 义 难以 建 模 等 种 种 挑战 。 为 此 ,研究 者 们 基于 统计 学 、 
机 器 学 习 和 深度 学 习 技 术 提 出 了 多 种 多 标签 文本 情绪 分 类 模型 。 例 如 ， 基 于 情绪 字典 的 
文本 情绪 识别 模型 上 3 通过 在 情绪 词典 种 检索 匹配 文本 ， 从 而 确定 文本 情绪 类 别 。 基 于 
朴素 贝 叶 斯 和 支持 向 量 机 的 文本 情绪 词典 模型 内 则 利用 统计 学 习 方 法 ， 通 过 分 析 与 建 模 
词 频 统 计 特 征 从 而 识别 文本 情绪 概率 。 随 着 深度 学 习 在 自然 语言 理解 领域 的 广泛 应 用 
上 51， 以 循环 神经 网 络 (recurrent neural network, RNN ) 器 、 大 规模 预 训练 模型 (pretrained 
model) B9 为 代表 的 深度 学 习 文 本 情绪 识别 模型 依赖 于 深度 学 习 在 语义 表征 建 模 方 面 的 
强大 能 力 ， 在 具体 文本 情绪 类 别 的 识别 方面 取得 了 显著 进展 。 

然而 现 阶 段 的 多 标签 文本 情绪 分 类 方法 仍 有 一 些 重要 问题 琢 待 解决 。 首 先是 情绪 关 
联 性 建 模 。 与 其 他 多 标签 文本 分 类 任务 〈 如 新 闻 类 别 分 类 、 文 本 事件 分 类 ) 不 同 ， 多 标 
签 文 本 情绪 分 类 中 的 类 别 标签 ( 即 情绪 ) 之 间 存 在 错综复杂 的 语义 关联 性 。 例如 “开心 ” 
这 一 情绪 与 “喜欢 ”有 着 高 度 的 语义 重合 ， 直 观 表 现在 文本 上 则 为 两 种 情绪 常常 共 现 。 
然而 现 有 的 多 标签 文本 情绪 分 类 方法 大 都 将 情绪 标签 视 作 一 般 文 本 分 类 任务 的 相互 独 
工 标 签 00 .249， 忽 视 情 绪 间 复杂 的 语义 关联 ， 从 而 难以 深入 发 掘 文本 与 情绪 间 的 关联 性 ， 
导致 分 类 算法 准确 度 受 限 。 其 次 是 情绪 自身 的 语义 建 模 。 文 本 情绪 分 类 任务 不 仅 关注 文 
本 与 情绪 的 对 应 关系 ， 同 样 关 注 情 绪 自 身 强 含 的 语义 信息 。 情 绪 语 义 信息 表征 有 助 于 理 
解 情 绪 的 本 质 以 及 不 同情 绪 的 异同 之 处 ， 更 有 助 于 情绪 信息 在 一 些 下 游 任务 中 (如 文本 
生成 ) 的 进一步 应 用 。 人 然而 现 有 的 多 标签 文本 情绪 分 类 方法 难以 建 模 情绪 语义 信息 表征 ， 
从 而 难以 高 效 挖掘 文本 情绪 分 类 数据 中 剖 含 的 丰富 信息 。 

为 解决 上 述 问 题 ， 本 文 基于 基本 情绪 理论 3 和 预 训练 深度 学 习 方 法 59， 创新 性 地 
提出 一 种 用 于 公共 社交 平台 和 与 情 识 别 的 预 训练 情感 关联 性 文本 情绪 识别 模型 
(AttEmoNet)。 具 体 来 说 ，AttemoNet 利用 大 规模 预 训 练 模型 BERTGI 建 模 文 本 语义 向 
量 ， 同 时 使 用 自 注意 力 机 制 (self-attention ) 建 模 情绪 语义 特征 和 情绪 关联 性 。 随 后 ， 
AttEmoNet 使 用 基于 深度 学 习 的 多 层 感知 机 (multi-layer perceptron, MLP) 识别 文本 情 
绪 概 率 。 接 下 来 通过 在 中 文 数据 集 NLPCC2014 和 英文 数据 集 GoEmotions 上 对 比 
AttEmoNet 与 现 有 经 典 文本 情绪 识别 模型 的 情绪 识别 能 力 ， 以 实验 验证 AttEmoNet 的 情 
绪 识 别 能 力 。 此 外 ， 通 过 在 NLPCC2014 上 的 模型 参数 可 视 化 分 析 ， 揭 示 AttEmoNet 建 


模 情绪 语义 关联 性 的 能 力 。 最 后 ， 我 们 讨论 了 本 文 工 作 的 优势 与 不 足 ， 并 展望 了 未 来 研 


究 方 同 。 
2 相关 研究 
2.1 基本 情绪 理论 


为 人 类 有 六 种 基本 情绪 ， 即 快乐 、 


基本 情绪 理论 由 美国 心理 学 家 Paul Ekman 等 人 于 20 世纪 70 年 代 提 出 031。 该 理 
悲伤 、 恐 惧 、 愤 低 、 惊 讶 和 厌恶 。 这 些 基 本 情绪 被 认 
为 是 路 文化 和 路 物 种 的 普遍 存在 。 基 于 情绪 基本 理论 ，Ekman 等 人 0 通过 观察 不 同文 化 
的 人 脸 表 情 ， 发 现 了 一 些 情绪 表情 的 普 裔 性 。Carroll E. Izard04 扩 展 了 基 


本 情 绪 理 论 ? 


LE 论 认 


讨论 了 基本 情绪 之 间 的 关系 以 及 情绪 与 认 知 之 间 的 关系 。 该 研究 提出 了 一 种 情绪 系统 的 
模型 , 描述 了 基本 情绪 之 间 的 关系 以 及 它们 是 如 何 相互 影响 和 调节 的 。 例 如, 作者 指出 ” 


导 怒 ”和 ”厌恶 ” 之 间 存 在 一 种 紧密 的 关系 ， 而 ”快乐 ?和 ”悲伤 ”之 间 则 存在 着 对 立 的 关系 。 


James A. Russellt5 提 出 了 环 状 情绪 理论 ， 对 基本 情绪 理论 进行 了 扩展 ， 强 调情 绪 的 构建 


和 主观 体验 ， 剖 含情 绪 间 的 关联 性 建 模 思想 。Alan S. Cowen 和 Dacher Keltner09 探 索 了 


人 们 在 自我 报告 中 如 何 描述 和 区 分 不 同 的 情绪 体验 。 该 研究 发 现 了 相 较 基本 情绪 理 


论 更 


加 细 粒 度 的 情绪 体验 ， 扩 展 了 对 情绪 的 理解 ， 突 破 了 传统 基本 情绪 的 观念 。 它 表明 情绪 
是 复杂 且 多 样 的 ， 可 以 通过 多 个 离散 的 情绪 类 别 和 连续 的 渐变 来 描述 和 捕捉 。 总 之 ， 


本 情绪 理论 最 早 提出 了 情绪 的 六 种 基本 元 素 。 相 关 学 者 基于 基本 情绪 


2.2 文本 情绪 识别 


建 、 情 绪 之 间 的 关系 等 方面 深入 探索 ， 发 展 出 一 套 逐 渐 完备 的 情绪 理论 框架 。 


基 


论 ， 在 情绪 的 构 


a 
青 感 


文本 情绪 识别 是 一 类 文本 分 类 任务 ， 旨 在 根据 文本 语义 特征 识别 出 文本 所 属 的 


类 别 并 分 类 。 根 据 情 绪 标 签 分 布 的 不 同 ， 文 本 情绪 识别 任务 可 以 分 为 情绪 极 性 分 类 《〈 正 


es 


负 情 感 ， 二 分 类 )、 和 情绪 类 别 分 类 (多 类 别 分 类 ) 和 情绪 标签 分 类 (多 标签 分 类 )。 文 本 


情绪 识别 模型 包括 基于 规则 的 情绪 词典 方法 02、 基 于 统计 机 器 学 习 的 方法 &3 和 基于 


深度 学 习 的 方法 53?9。 基 于 规则 的 情绪 词典 方法 是 一 种 无 监督 方法 ,利用 情绪 词典 获取 
文档 中 情绪 词 的 情绪 值 ， 再 通过 加 权 计 算 确 定 文档 的 整体 情绪 倾向 。 该 方法 不 考虑 词语 
之 间 的 联系 ， 不 考虑 词语 情绪 倾向 随 上 下 文 内 容 的 变化 。 和 常见 的 情绪 词典 包括 英文 词典 


General Inquirer、 SentiWordNet、 Opinion Lexicon、 MPQA 等 [ 


NTUSDP0、 中 文 情绪 词汇 本 体 库 的 等 。 基 于 统计 机 器 学 习 的 方法 是 一 种 有 监督 方法 ， 


9, 以 及 中 文 词典 HowNet 


20 


ey 
EA 


在 带 情绪 标签 的 文本 数据 上 训练 机 器 学 习 分 类 模型 ， 再 将 训练 好 的 机 器 学 习 分 类 模型 应 


用 于 文本 情绪 预测 任务 中 。 例 如 谢 丽 星 等 BB 提出 一 种 基于 支持 向 量 机 (support Vector 
machine, SVM) 的 文本 情绪 识别 模型 ， 将 情绪 分 析 过 程 分 为 两 大 策略 和 四 种 方法 。 刘 宝 
背 等 2 提出 一 种 基于 朴素 贝 叶 斯 (naive Bayesian, NB ) 的 文本 情绪 识别 方法 ， 建 立 三 层 
树 状 情绪 识别 结构 。 基 于 深度 学 习 的 方法 是 一 种 有 监督 方法 ， 在 有 情绪 标签 的 文本 数据 
上 训练 神经 网 络 分 类 模型 ， 利 用 神经 网 络 极 强 的 拟 合 能 力 来 精准 预测 文本 情绪 类 别 。 例 
如 苏 小 黄 等 的 提出 一 种 基于 卷 积 神经 网 络 的 文本 情绪 识别 模型 ,其 中 双 卷 积 层 结构 可 以 
从 任意 长 度 语句 中 抽取 特征 。 孙 晓 等 59 提出 一 种 基于 深度 新 年 网 络 的 文本 情绪 识别 模 
型 ， 利 用 深度 信念 网 络 解决 了 文本 特征 稀疏 的 问题 。 随 着 大 语言 模型 (large language 
model, LLM) P7391 的 兴盛 ， 基 于 预 训练 的 LLM 方法 在 文本 情绪 识别 任务 中 展露 头角 ， 
并 日 在 大 量 数据 集 上 取得 了 最 优 分 类 性 能 。 例如， 方 英 兰 等 Bd 使 用 BERT 模型 获取 更 完 
整 的 文本 语义 表征 ， 从 而 更 加 精准 地 预测 文本 情绪 类 别 。 马 达 等 B0 在 社交 网 络 用 户 传播 
他 人 隐私 信息 行为 的 研究 问题 上 对 比 了 多 种 大 语言 模型 的 文本 情绪 识别 能 力 。 
2.3 深度 学 习 与 注意 力 机 制 

注意 力 机 制 〈Attention mechanism ) 最 早 由 Bahdanau 等 6 提出 ， 是 一 种 深度 学 习 中 
的 用 于 建 模 语义 序列 中 不 同 部 分 的 语义 关联 性 以 及 关联 表征 的 技术 。 在 自然 语言 处 理 中 ， 
注意 力 机 制 常 被 用 于 建 模 预 料 上 下 文 之 间 的 语义 关联 ， 从 而 在 文本 生成 、 文 本 分 类 等 任 
务 中 实现 模型 输出 结果 与 上 下 文 的 对 应 。Vaswani 等 回 提 出 的 Transformer 模型 是 使 用 自 
注意 力 机 制 的 代表 模型 。Transformer 模型 有 着 强大 的 语义 表征 能 力 和 文本 输出 能 力 ,是 
许多 文本 分 类 器 、 文 本 情感 识别 方法 的 基石 。 
3 基于 情绪 关联 性 建 模 的 文本 情绪 识别 方法 

现 有 的 文本 情绪 识别 方法 难以 建 模 情 绪 关 联 性 在 情绪 识别 中 的 重要 作用 。 因 此 ， 本 
文 首先 提出 一 种 基于 情绪 关联 性 建 模 的 文本 情绪 识别 方法 〈AttEmoNet)。 随 后 ， 通 过 在 
微 博文 本 情绪 识别 数据 集 上 证 明了 AttEmoNet 在 文本 情绪 识别 和 情绪 关联 建 模 方面 的 
优越 性 。 最 后 ， 将 AttEmoNet 应 用 于 给 定 话题 下 的 文本 情绪 分 析 中 。 
3.1 AttEmoNet 方法 介绍 

本 文 提出 的 AtEmoNet 算法 框架 如 图 1 所 示 。 该 框架 包含 三 个 模块 : 文本 编码 器 模 
块 、Attention 文本 关联 建 模 模 块 、 情 绪 识 别 神经 网 络 模块 。 其 中 文本 编码 器 模块 使 用 大 
规模 预 训练 模型 BERT 将 文本 输入 编码 为 高 维 文本 语义 向 量 。Attention 文本 关联 建 模 模 
块 使 用 注意 力 机 制 ,， 将 可 训练 的 情绪 本 征 特 征 向 量变 换 并 输出 成 草 含 情绪 关联 性 的 特征 


向 量 ， 同 时 输出 情绪 关联 性 矩阵 。 情绪 识 别 神经 网 络 模 块 将 文本 语义 向 量 和 每 个 部 含情 
绪 关 联 性 的 情绪 特征 向 量 逐 个 匹配 和 计算 文本 包含 该 情绪 的 概率 。 算 法 最 终 输出 情绪 六 
含 概 率 。 在 训练 阶段 ， 使 用 多 标签 文本 情绪 识别 数据 集训 练 模型 的 情绪 本 征 特征 向 量 、 
Attention 文本 关联 建 模 模块 以 及 情绪 分 类 神经 网 络 ; 在 推理 阶段 ,冻结 AttEmoNet 的 网 
络 参数 ， 实 现 端 到 端的 文本 情绪 识别 。 
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图 1. AttEmoNet 算法 框架 

3.2 BERT 文本 编码 器 

AttEmoNet 框架 中 的 BERT 文本 编码 器 , 是 一 个 基于 BERTGI 的 大 型 的 中 文 预 训练 文 
本 编码 模型 B31。 该 模块 使 用 掩 码 语言 模型 (masked language model MLM)， 从 而 能 生成 
深度 的 双向 语言 表征 。BERT 原 论文 是 中 的 实验 表明 ，BERT 在 11 个 自然 语言 处 理 任务 
中 取得 了 当时 的 最 优 效果 ， 这 证 明了 BERT 模块 在 文本 语义 表征 方面 的 有 效 性 。 

形式 化 地 ， 设 原始 文本 输入 为 字符 序列 s ={w ww 2…w N 小 则 
BERT 的 编码 过 程 可 以 按 如 式 (1) 所 示 形 式 化 表示 : 


， enti ) 一 f (w 1 W N ) #(1) 
其 中 v So" ) E RD 是 文本 语义 表征 向 量 。D ”是 由 BERT 定义 的 


文本 语义 表征 向 量 的 维度 。 一 般 情 况 下 取 D = 1,024。 
3.3 Attention 文本 关联 建 模 模块 


Attention 文本 关联 建 模 模块 使 用 自 注意 力 机 制 建 模 情 绪 语 义 的 关联 性 ， 从 而 解决 现 
有 研究 中 缺乏 对 情绪 关联 性 的 研究 的 问题 。 具 体 地 ， 自 注意 力 机制 采 用 查询 - 键 - 值 
(query-key-value, QKV ) 模式 。 框架 中 的 每 一 种 情绪 (如 图 1 中 的 “开心 “喜欢 ”“ 惊 
讶 ”) 等 都 拥有 一 个 可 训练 的 查询 向 量 、 键 向 量 、 值 向 量 〈 值 向 量 对 应 图 1 中 的 情绪 特 
征 本 征 向 量 )。 首 先 ， 对 于 一 种 目标 情绪 (如 “开心 ”)， 首 先 取 得 它 的 查询 向 量 ， 使 用 余 
弦 相 似 度 方 法 计算 该 查询 向 量 与 其 它 每 一 种 情绪 的 键 向 量 的 相似 度 。 与 每 一 种 其 它 情绪 
的 相似 度 即 为 情绪 语义 依赖 度 ， 即 目标 情绪 的 语义 表征 在 多 大 程度 上 依赖 于 该 情绪 。 随 
后 ， 计 算 目 标 情 绪 的 列 含 情绪 关联 性 的 特征 向 量 。 该 向 量 等 于 每 一 种 情绪 的 本 征 特 征 向 
量 ( 值 向 量 ) 的 加 权 平 均 ， 权重 即 为 计算 得 到 的 情绪 语义 依赖 度 。 最 后 ， 计 算 蕴 含情 绪 
关联 性 的 特征 向 量 的 两 两 之 间 的 Pearson 相关 系数 ， 输 出 情绪 关联 性 矩阵 。 

形式 化 地 ， 首 先 使 用 独 热 编码 来 标记 每 一 种 情绪 ( 若 情 绪 总 数 为 K， 则 第 k 个 情绪 
编码 为 一 个 除了 第 k 个 元 素 为 1， 其 他 位 置 元 素 全 为 0 的 K 维 向 量 )。 令 S = 
(s ”jk ， ) ,x 表示 情绪 特征 本 征 向 量 矩 阵 , Q = (4q jx 表示 情 


可 


j. xK 


表示 情绪 键 向 量 和 矩阵。 则 该 模块 首先 取 
目标 情绪 k 的 特征 本 征 向 量 、 碍 询 向 量 和 每 一 种 情绪 《〈 包 括 目标 情绪 自身 ) 的 键 向 量 : 


绪 查 询 向 量 矩 隆 , sZ = (z jk 


旺 xK 


e i = xX ; ,#(2) 
4 ;} = xx > =1,2,...,K ,#(3) 
z ;} = Xx j) ， J =1,2,...,K ,#(4) 


随后 ， 计 算 目 标 情绪 和 每 一 种 情绪 的 语义 依赖 相似 度 : 


q Z 
2 =sSoftmax (一生).*@ 


最 后 计算 目标 情绪 的 缠 含 情绪 关联 性 的 情绪 语义 向 量 : 


K 
t26 
a 


其 中 计算 结果 e 。 (+ 上。 ) 便 是 蕴含 了 情绪 依赖 关系 的 情绪 向 量 表征 ， 用 于 在 后 
续 步骤 中 识别 文本 情绪 。 


3.4 情绪 识别 神经 网 络 模块 
情绪 识别 神经 网 络 模块 使 用 一 个 神经 网 络 计算 文本 语义 表征 和 情绪 语义 表征 之 间 
的 匹配 程度 ， 从 而 预测 文本 中 包含 每 一 种 情绪 的 概率 。 有 具体 地 ， 给 定 一句 文 本 的 语义 表 


征 向 量 v 人 ) 和 一 种 情绪 的 语义 表征 向 量 e。 。 “上 )， 此 模块 使 用 
二 次 形式 的 神经 网 络 预测 文本 情绪 概率 : 
人 =sigmoid (v 2 JTYW 8 6 
=SsSigmoid (v 0 )T(O TAO )e 06 
=sigmoid ((o，v (att 小 A(o enti 

S k 


其 中 W =O TAO 是 情绪 识别 参数 矩阵 W ER2 *? 的 特征 值 分 解 。 上 
述 特征 值 分 解 变 换 表 明 , 这 一 神经 网 络 预测 过 程 等 价 于 将 文本 语义 向 量 和 情绪 语义 向 量 
经 过 相同 的 线性 变换 后 ， 再 逐 元 素 加 权 平 均 ， 权 重 为 W 的 特征 向 量 。 而 神经 网 络 的 训 
练 过 程 , 相当 于 优化 线性 变换 和 特征 向 量 , 使 得 文本 情绪 预测 概率 值 接近 真实 数据 标签 。 
3.5 损失 函数 
由 于 AttEmoNet 面向 的 文本 情绪 预测 问题 是 多 标签 分 类 问题 , 因此 采用 交叉 焙 作 为 
损失 函数 。 在 模型 训练 过 程 中 ，AttEmoNet 的 训练 目标 是 最 小 化 损失 函数 值 : 


N C 
OPS Dy gs 3 


i =1K =1 


其 中 QQ 表示 AttEmoNet 中 所 有 的 可 训练 参数 , N 表示 样本 数 ( 训 练 集中 的 文本 数 )， 
C 表示 可 能 存在 的 情绪 类 别 数 。y ; ”表示 数据 集 内 文本 i 是 否 包含 情绪 并 


若 y ， =1 则 文本 i ”包含 情绪 k ”， 耕 则 y ; i =0。p ; i 表示 
由 AtEmoNet 预测 的 文本 i 。 包含 情绪 k ”的 概率 。 

4 文本 情绪 识别 实验 

4.1 实验 设置 


本 实验 通过 在 公开 微 博 数 据 集 上 对 本 文 提 出 的 文本 情绪 识别 模型 AttEmoNet 和 多 
种 文本 情绪 预测 基线 模型 进行 对 比 测试 , 验证 AttEmoNet 在 文本 情绪 预测 任务 上 的 准确 


性 以 及 其 建 模 情绪 特征 相关 性 的 能 力 。 实 验 数 据 集 方面 ， 本 研究 采用 NLPCC2014 和 
GoEmotionsB4 两 个 公开 数据 集 。 对 于 NLPCC2014 数据 集 ， 该 数据 集 来 源 于 新 浪 微 博 的 
45,421 条 文本 数据 ， 使 用 人 工 标 注 法 标注 文本 情绪 标签 ， 包括 愤怒 、 和 恶心、 害怕、 开心 、 
喜欢 、 悲 伤 、 惊 讶 、 无 情绪 ， 总 共 8 种 标签 ， 包含 7 种 情绪 。 每 一 条 文本 最 多 蕴含 两 种 
情绪 。 对 于 GoEmotions 数据 集 , 该 数据 集 来 源 于 英文 论坛 Reddit 的 58,000 条 文本 数据 ， 
原始 数据 包含 27 种 细 粒 度 情感 类 别 。 基 于 基本 情绪 理论 ,我 们 从 中 筛选 出 同 NLPCC2014 
数据 集 的 7 种 情绪 以 及 中 立 情况 作为 文本 情绪 识别 目标 ， 共 筛选 出 32,445 条 有 效 样 本 。 
接 下 来 ， 我 们 分 别 从 每 个 数据 集中 按 70%:10%:20% 的 比例 划分 训练 集 、 验 证 集 和 测试 
集 。 


表 1. 预 处 理 后 的 数据 集 统计 数据 

数据 集 NLPCC2014 GoEmotions 
样本 数 45,421 32.445 

样本 占 比 (无 情绪 /中 立 ) ”44.1% 56.3% 

样本 占 比 (情绪 数 =1) 38.4% 41.4% 

样本 占 比 (情绪 数 =2) 17.5% 2.2% 

样本 占 比 (情绪 数 =3) 0.0% 0.06% 

样本 占 比 (情绪 数 =4) 0.0% 0.01% 


实验 环境 方面 ， 本 文 所 有 模型 均 使 用 Python3.8 实现 ， 深 度 学 习 框 架 为 PyTorch， 操 
作 系 统 为 Linux。 实 验 运 行 的 硬件 配置 为 一 台 包 含 两 个 2.10GHz Intel Xeon E5-2620 v4 
CPU 和 一 个 NVIDIA Tesla-A100 GPU 的 服务 器 。 
4.2 文本 情绪 预测 实验 

本 文 实验 主要 包含 情绪 预测 实验 与 情绪 特征 关联 性 分 析 。 最 后 ， 将 AttEmoNet 情绪 
预测 模型 应 用 于 与 情 识 别 中 。 在 文本 情绪 预测 实验 ， 采 用 的 基线 模型 如 下 : 

@ Random: 随机 预测 。 对 于 每 一 种 情绪 ， 以 1/2 的 概率 将 文本 归 入 该 类 情绪 中 。 

一 个 情绪 预测 模型 的 表现 是 否 好 过 随机 预测 ， 是 其 可 用 性 的 基本 标准 。 


@ cnsenti: 中 文 情 绪 分 析 库 (Chinese Sentiment)， 基 于 中 国 知 网 情绪 词典 HowNet 


的 情绪 预测 模型 。 
机 〈Support Vector Machine )， 基 于 支持 向 量 的 情绪 预测 模型 。 
在 实验 中 ， 使 用 BERT 将 文本 编码 为 语义 向 量 ， 作 为 SVM 的 输入 。 


@ SVM: 支持 向 是 


@ BERT : 基于 Transformer 的 预 训练 大 语言 模型 。 使 用 全 连接 神经 网 络 
(Full-connection Neural Network) 作为 文本 情绪 预测 任务 的 下 游 输 出 层 。 
表 4. 文本 情绪 预测 实验 结果 . 


数据 集 


Precision 


模型 
1 (%) 


Random 0.1989 


cnsenti 0.1403 
SVM 0.3126 
BERT 0.7215 


AttEmoNet 0.8177 


性 能 提升 13.33% 


NLPCC2014 


Recall 1 


(%) 
0.4929 
0.0943 


0.5005 


0.6856 


0.7029 


2.52% 


Fl-score T Precision 


(%) 
0.2636 
0.1084 


0.3247 


0.6740 


0.7309 


8.44% 


GoEmotions 

Recall 1 
1 (%) (%) 
0.126 0.4894 
0.2095 0.4156 
0.5546 0.5403 
0.5808 0.6581 
4.72% 21.80% 


Fl-score 1 
(%) 


0.2005 
0.2780 
0.5473 
0.6170 


12.74% 


文本 情绪 预测 实验 结果 如 上 所 示 。 考 虑 到 多 标签 分 类 任务 特性 ， 评 测 指标 为 微观 精 
度 (Micro Precision )、 和 微观 召回 率 (Micro Recall)、 微 观 Fl 得 分 (Micro Fl Score )。 对 


于 上 述 每 个 评价 指标 ， 


得 分 越 高 ， 则 模型 的 文本 情绪 识 另 


准 砷 


角度 越 高 。 其 中 由 于 


GoEmotions 为 英文 数据 集 ， 因 此 基于 中 文 词典 的 基线 模型 cnsenti 无 法 识别 该 数据 集 的 
文本 情绪 。 由 上 述 实验 结果 可 知 ， 本 文 提 出 的 AttEmoNet 在 精度 、 召 回 率 、F1 得 分 三 


个 文本 情绪 预测 指标 上 ， 均 领先 于 现 有 文本 情绪 预测 基线 模型 ， 其 中 精度 提升 最 高 位 


13.33%， 召 回 率 最 高 提升 21.80%，F1 得 分 最 高 提升 12.74%。 这 订 
于 现 有 的 模型 ， 能 够 更 加 准 而 
法 也 大 幅度 优 于 其 他 现 有 方法 。 


E 明 了 AttEmoNet 相 比 
地 预测 文本 情绪 。 此 外 ， 在 基线 模型 中 ，BERT+NN 地 方 
其 中 ，BERT+NN 与 cnsenti 的 对 比 ， 说 明了 基于 BERT 


预 训 练 语言 编码 的 文本 情绪 预测 模型 ,在 微 博 情 绪 预 测 上 拥有 着 比 基 于 规则 和 情绪 词典 


的 传统 模型 有 着 更 好 的 ; 


生 能 ; 


BERT+NN 与 BERT+SVM 的 对 比 ， 说 明了 基于 神经 网 络 


的 文本 情绪 预测 算法 比 基 于 支持 向 量 机 (SVM ) 的 算法 在 微 博 情 绪 预 测 上 有 着 更 好 的 性 


能 。 而 相 比 于 基线 中 的 最 优 模型 BERT+NN， 本 文 提出 的 AtEmoNet 方法 通过 创新 性 的 
情绪 特征 建 模 模块 ， 进 一 步 提 升 了 基于 BERT 预 训练 语言 编码 的 文本 情绪 预测 模型 的 性 


台 已 
月 E 。 


4.2 可 视 化 实验 : 情绪 特征 相关 性 建 模 实 验 
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图 2. 情绪 特征 相关 性 热力 图 
这 一 节 以 NLPCC2014 数据 集 为 例 ， 分 析 AttEmoNet 建 模 情绪 语义 相似 性 的 能 
AttEmoNet 文本 情绪 预测 模型 通过 Attention 文本 情绪 建 模 模块 建 模 情绪 特征 之 间 的 关联 
性 ， 从 而 提升 文本 情绪 预测 精度 。 本 实验 阶段 主要 关注 AttEmoNet 自身 的 文本 情绪 特征 


关联 性 建 模 结果 。 在 AttEmoNet 中 ， 情 绪 特 征 使 用 e tt ) 表 示 ， 其 中 k 表 示 情 
绪 类 别 序号 。 对 于 任意 两 种 情绪 kl1 和 k2， 本 实验 中 采用 情绪 特征 的 Pearson 相关 系数 


作为 情绪 特征 相关 性 度量 ， 记 作 Co rr (k ”1,k 2)。 该 相关 系数 介 于 -1 
与 1 之 间 。 当 Co r r (K ”1,k 2) > 0 时 ， 两 种 情绪 特征 之 间 呈 现 正 相关 
性 (相似 性 ); 当 Co r r (k ”1,k ”2) = 0 时 , 两 种 情绪 特征 之 间 呈 现 不 相 
关 性 (独立 性 ); 当 Corr (kK ”1,k ”2) < 0 时 , 两 种 情绪 特征 之 间 呈 现 负 


相关 性 (语义 相反 )。 情 绪 特 征 相 关 性 计算 结果 如 下 图 所 示 ， 图 中 包含 7 种 情绪 :愤怒 
Canger)、 恶 心 (disgust)、 害 怕 (fear)、 开 心 (happiness )、 喜 欢 〈like)、 悲 伤 (sadness)、 
惊讶 〈surprise)。 图 中 的 每 个 方块 颜色 越 明 亮 、 相 关 性 值 越 大 ， 则 两 种 情绪 之 间 关 联 性 


越 强 。 由 图 2 可 知 ， 与 每 种 情绪 关联 性 最 强 的 三 种 情绪 如 下 : 
@ 愤怒 : 恶心 (0.99)、 惊 讶 (0.50)、 害 怕 (0.39) 


@ 恶心 : 愤 奴 〈0.99)、 人 惊讶 (0.46)、 害 怕 (0.34) 
@ 害怕 : 惊讶 (0.97)、 人 愤怒 (0.39)、 莫 伤 (0.38) 


@ 开心 : 喜欢 〈0.5$)、 人 惊讶 (0.48)、 害 怕 (0.37) 


@ 喜欢 ， 开心 (0.55)、 翡 伤 (0.31)、 司 既 (0.24) 


@ 悲伤 : 害怕 〈0.38)、 慎 把 〈0.3$)、 喜 欢 〈0.31) 


@ 惊讶 : 害怕 《〈0.97)、 人 愤怒 〈0.50)、 开 心 〈0.48 ) 

从 上 述 结 果 可 见 ， 不 同 种 类 的 情绪 由 于 其 语义 不 同 ， 或 呈现 强烈 的 相关 性 ， 或 与 部 
分 情绪 相互 独立 ;部 分 情绪 由 于 语义 具有 一 致 性 倾向 ， 往 往 呈 现 出 较 强 的 聚 类 特征 。 例 
如 , “愤怒 ”与 “恶心 ” 同 为 负面 情绪 ， 语 义 相 关 性 高 达 0.99。 并 且 它 们 同时 与 “害怕 ” 
有 着 较 强 的 相关 性 ， 这 说 明 上 述 四 种 情绪 在 语义 内 涵 方 面 较 为 相似 ， 这 与 人 们 的 直觉 相 
符 。 与 此 同时 ,“ 开 心 ”与 “喜欢 ”有 着 较 强 的 相关 性 ， 这 表明 两 种 直观 上 的 正面 情绪 
在 语义 内 涵 方 面 同样 具有 相似 性 。 此 外 ,“ 惊 讶 ” 既 与 “开心 ”等 正面 情绪 有 着 较 高 的 
语义 相似 性 ， 也 与 “害怕 ”等 负面 情绪 具有 较 高 的 语义 相似 性 。 这 说 明 “ 惊 讶 ”作为 一 
种 个 体 由 于 受到 突然 变化 而 感知 的 情绪 ， 其 倾向 偏向 中 立 。 换 言 之 ,“ 人 惊讶 ” 既 可 以 与 


正面 情绪 共存 〈 如 “惊喜 沪 ， 也 可 以 与 负面 情绪 共存 〈 如 “惊恐 汶 。 
6 结论 


网 络 社交 平台 极 易 出 现 大 规模 争议 性 网 络 议题 ， 甚 至 不 少 议题 极 易 发 酵 为 网 络 与 情 
并 进入 大 规模 情绪 化 的 非 理 性 传播 。 现 有 的 情绪 识别 模型 难以 建 模 情 绪 关 联 性 ， 情 绪 预 
测 精度 有 待 提高。 为 解决 上 述 问 题 ， 本 研究 首先 进行 广泛 深入 的 相关 研究 调研 ， 基 于 基 
本 情绪 理论 和 深度 学 习 技术 ， 创 新 性 地 提出 一 种 大 规模 预 训练 文本 情绪 识别 方法 

CAttEmoNet)， 用 于 实现 精准 的 网 络 社交 平台 文本 情绪 识别 与 情绪 关联 性 建 模 ， 并 通过 
在 真实 文本 情绪 识别 中 文 数据 集 NLPCC2014 和 英文 数据 集 GoEmotions 上 的 大 规模 对 比 
实验 验证 了 AttEmoNet 的 精准 文本 情绪 识别 能 力 。 情 绪 识 别 对 比 实验 表明 ，AttEmoNet 
在 文本 情绪 识别 的 精度 (Precision )、 召 回 率 (Recall)、F1 得 分 (Fl Score) 三 个 指标 上 
相 比 于 最 优 基 线 方法 BERT 分 别提 升 了 13.33%、2.52% 和 8.44%， 有 效 提 升 了 文本 情绪 
识别 的 精准 度 。 情绪 特征 相关 性 实验 表明 ， 有 具有 相似 情绪 色彩 (正面 /负面 ) 的 情绪 具有 
较 强 的 语义 相关 性 ;“ 惊 讶 ”情绪 与 正面 情绪 和 负面 情绪 都 具有 较 高 的 语义 相关 性 ， 在 


情绪 相关 性 图 中 成 为 连接 二 者 的 桥梁 。 


7 讨论 

本 文 的 研究 意义 在 于 : 首先 ， 本 文 在 理论 层面 将 基本 情绪 理论 与 深度 学 习 技 术 有 机 
结合 ， 创 新 性 地 提出 一 种 大 规模 与 训练 文本 情绪 识别 方法 〈AttEmoNet)， 并 通过 真实 数 
据 集 上 的 大 规模 实验 验证 了 该 方法 的 准确 识别 文本 情绪 和 建 模 情绪 语义 相关 性 的 能 
在 文本 情绪 识别 这 一 任务 中 ,情绪 识 别 效 果 的 准确 性 是 相关 研究 的 核心 议题 ， 也 是 公 
熏 情 监督 的 重要 技术 保证 。 因 此 ，AttEmoNet 在 实验 中 体现 的 高 性 能 ， 对 于 增强 公众 与 
情 监督 效果 无 疑 具 有 重要 意义 。 其 次 ， 本 文 在 实践 层面 首次 探究 了 “女性 主义 ”这 一 高 
敏感 度 微 博 话题 下 的 公众 情绪 分 布 及 随时 间 演 变 规律 。 此 外 ， 借 助 AttEmoNet 的 情绪 语 
义 相 关 性 建 模 能 力 ， 本 文 同时 分 析 了 该 话题 下 不 同情 绪 之 间 的 相关 性 关系 ， 为 相关 的 与 
情 监督 给 出 了 重要 数据 参考 。 

同时 ， 本 研究 仍 存在 一 些 不 足 。 首 先 ， 受 到 可 获取 数据 量 限制 ，AttEmoNet 所 构建 
的 训练 语料库 仍 不 足以 发 挥 模型 最 大 性 能 ， 在 未 来 研究 中 需要 进一步 提升 文本 数据 量 。 
其 次 ， 在 文本 语义 解析 能 力 方 面 ，AttEmoNet 方法 对 于 反 话 、 讽 刺 等 隐 含 信息 量 较 大 的 
文本 情绪 识别 效果 仍然 有 待 提 升 。 在 未 来 的 研究 计划 中 ， 一 方面 我 们 可 以 通过 扩大 数据 
集 、 优 化 模型 架构 等 方式 进一步 提升 文本 情绪 识别 能 力 ;， 另 一 方面 ， 随 着 大 语言 模型 
(Large Language Model, LLM) 的 兴起 (如 ChatGPT)， 我 们 可 以 结合 大 语言 模型 在 文 
本 生成 、 涌 现 能 力 的 优势 ， 以 及 AttEmoNet 在 语义 建 模 强 、 计 算 成 本 低 的 优势 ， 设 计 更 
加 高 效 的 文本 情绪 识别 模型 。 此 外 ， 在 线 社交 平台 的 议题 、 用 户 分 布 错综复杂 ， 蕴 含 信 
息 丰 富 。 如 何 利用 丰富 的 议题 与 用 户 信息 助力 文本 情绪 识别 与 舆情 监督 、 探 索 情 绪 识 别 
和 情绪 语义 建 模 结果 的 下 游 应 用 ， 我 们 亦 认为 是 一 个 重要 的 未 来 研究 方向 。 
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